• 专利附录
  • 专利说明
  • 权利要求
  • 类似技术
  • 同族专利
  • 引用文献
  • 法律状态
  • 优先权
    • 专利摘要:
    DieErfindung betrifft ein Laufzeit-Kalibrierungsverfahren für ein bildgebendesSystem mit wenigstens zwei Kameras, wobei aktuelle Kameraparameterfortlaufend ermittelt werden. Zur fortlaufenden Ermittlung der aktuellenKameraparameter werden ein optischer Fluss und eine Stereotiefenvermessungder jeweiligen von den wenigstens zwei Kameras detektierten Bilder gemeinsamausgewertet.
    公开号:DE102004001572A1
    申请号:DE102004001572
    申请日:2004-01-12
    公开日:2005-08-04
    发明作者:Uwe Dr.-Ing. Franke；Stefan Dipl.-Ing. Heinrich；Fridtjof Dr.rer.nat. Stein；Alexander Dr.rer.nat. Würz-Wessel
    申请人:DaimlerChrysler AG；
    IPC主号:G01C11-06
    专利说明:
    [0001] DieErfindung betrifft ein Laufzeit-Kalibrierungsverfahren für ein bildgebendesSystem mit wenigstens zwei Kameras, wobei aktuelle Kameraparameterfortlaufend ermittelt werden.
    [0002] Einderartiges System ist aus der US 5,559,695 bekannt.Dort ist ein selbstkalibrierendes visuelles Sensorsystem für ein mobilesFahrzeug beschrieben.
    [0003] BildgebendeSysteme, bestehend aus zwei oder mehreren Kameras, müssen für ihrenEinsatz kalibriert werden. D.h. es werden innere und äußere Kameraparameterbestimmt. Die inneren Kameraparameter sind u.a. die Fokallänge derKamera, der Hauptpunkt, d.h. der Durchstoßpunkt der optischen Achsedurch die Bildebene, die Größe der Sensorelementeund die Koeffizienten der Linsenverzeichnungen. Die äußeren Kameraparameterbeschreiben die relative Positionierung der Kameras des Stereosystemszueinander. Dabei ist die relative Positionierung durch eine Verschiebung(die sogenannte Basislinie) und eine Rotation der Kamerakoordinatensystemevollständigbeschrieben.
    [0004] Inder Regel wird ein Kamerasystem vor dem Einsatz einmalig kalibriert,danach wird angenommen, dass diese Konfiguration statisch ist unddie Parameter fürdas System dauerhaft gültigsind. In einem kontrollierten Umfeld, beispielsweise einem Labor,kann diese Annahme getroffen werden. Wird das Sys tem jedoch unterrealen Bedingungen eingesetzt, muss diese Annahme jedoch nicht richtigsein.
    [0005] Insbesondereder Automotive-Bereich stellt hohe Anforderungen, sowohl hinsichtlichder auftretenden Einflüsseals auch der erforderlichen Messgenauigkeiten. Während des Betriebs können sich nämlich insbesonderedie äußeren Kameraparameterdurch äußere Einflüsse, wiez.B. Erschütterung, Erwärmung, etc.,signifikant ändern.Um die Funktionalitätdes Gesamtsystems zu gewährleistenund die erforderliche Genauigkeit bereitzustellen, müssen dieParameter demzufolge währendder Laufzeit immer wieder neu ermittelt werden (sogenannte Laufzeitkalibrierung)bzw. die Korrektheit der eingestellten Parameter muss ständig überwachtwerden.
    [0006] Esist bekannt, zur Bestimmung der relativen Position zweier Kameras,welche sich durch eine statische Umgebung bewegen, Verfahren einzusetzen, dieursprünglichzur Bestimmung der Kamerabewegung aus einer monokularen Bildsequenzentwickelt wurden. Der Nachteil dieses Ansatzes besteht darin, dassdas Verfahren zum einen sehr rechen- und damit auch zeitintensivist, und dass es auf der Annahme einer statischen Szene beruht unddamit füreinen Einsatz in einer realen bewegten Umwelt – insbesondere mangels Genauigkeit – wenigergeeignet ist. Die Annahme einer statischen Szene ist im Automobilbereichselbstverständlichnicht gegeben.
    [0007] Dervorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein Laufzeit-Kalibrierungsverfahrender eingangs erwähntenArt zu schaffen, welches die Nachteile des Standes der Technik vermeidetund insbesondere eine genaue und aktuelle Kalibrierung gewährleistet.
    [0008] DieseAufgabe wird erfindungsgemäß durch Anspruch1 gelöst.
    [0009] Daserfindungsgemäße Verfahrenverbindet in einfacher und vorteilhafter Weise die Stereotiefeninformationen,die unter Verwendung der kalibrierten Kameraparameter aus einemMehrfachkamerasystem bestimmt worden sind, mit der Flussinformation, dieaus jedem aufgezeichneten Kamerabild extrahiert werden kann. Mitanderen Worten verknüpftdie Erfindung Methoden, die bisher nur getrennt angewendet wurden,nämlichdie stereoskopische, dreidimensionale Vermessung einer Umgebungund die Auswertung des optischen Flusses im Bild. Durch den Vergleichdieser Daten könnendie Kameraparameter bestimmt bzw. deren Gültigkeit überprüft werden. Sind des weiterenfahrzeugspezifische Daten, wie beispielsweise Tiefeninformationenanderer Sensoren (Radar, Lidar, etc.) oder Gier-, Wank- oder Nickwinkelbzw. Fahrgeschwindigkeiten und Lenkwinkel des Fahrzeugs vorhanden,könnendiese zusätzlichzur Bestimmung der Kameraparameter herangezogen werden. Bisher passiveZeiten (System eingeschaltet aber nicht aktiviert) können nundazu genutzt werden, entweder das System zu kalibrieren oder dieKalibrierung zu überprüfen. Dadurchist es möglich,den Einsatz von bildgebenden Stereosystemen insbesondere im Automobil-/Automotive-Bereichwesentlich sicherer zu machen, da die Messgenauigkeit der Systemeletztlich auf der Genauigkeit der Kalibrierungsdaten beruht unddiese durch das erfindungsgemäße Verfahrenwesentlich verbessert wird. Wird das Verfahren dazu eingesetzt,das System zu kalibrieren, entfallen ggf. zusätzliche technisch und zeitlichaufwändigeVerfahren.
    [0010] VorteilhafteAusgestaltungen und Weiterbildungen ergeben sich aus den Unteransprüchen. Nachfolgendist anhand der Zeichnung prinzipmäßig ein Ausführungsbeispielbeschrieben.
    [0011] Dieeinzige Figur der Zeichnung zeigt ein schematisches Flussdiagrammdes erfindungsgemäßen Laufzeit-Kalibrierungsverfahrens.
    [0012] Beieinem bildgebenden System mit zwei nicht dargestellten Kameras ordnetdie stereoskopische Vermessung zuerst in den jeweiligen Kamerabildernbeobachtete Objekte einander zu.
    [0013] Aufgrundder unterschiedlichen Beobachtungspositionen der Kameras relativzur Szene (Verschiebung der Kameras um die Basislinie) wird das Objektan unterschiedlichen Stellen in den Kamerabildern abgebildet. DieseVerschiebung im Bildpaar der Kameras wird als Disparität D bezeichnet.Die DisparitätD ist dabei durch die Basislinie b des bildgebenden Systems, einerFokallängef der Kameras, einer Sensorelementgröße su bzw.sv der Kameras und einer Entfernung z0 eines Objekts von der Kamera bestimmt:
    [0014] Einoptischer Fluss Fu (in Bildkoordinatenrichtungu, v folgt analog) kommt dadurch zustande, dass sich bei einer Kamerabewegungdie beobachteten Objekte im Bild verschieben. Dies gilt für jede einzelneKamera des bildgebenden Systems. Durch Zuordnung der Objekte inaufeinanderfolgenden Bildern und der Kenntnis der neuen Objektentfernungz1 lässt sichder optische Fluss Fu wie folgt berechnen:
    [0015] Mit Δs= z1 – z0 (4) ergibtsich fürdie Bildkoordinatenrichtungen u und v:
    [0016] Nimmtman eine laterale Kamerabewegung durch eine statische Szene an undberechnet die Fluss-Tiefen-Beziehungen für die beobachteten Objekte,so ergeben unbewegte Objekte in den Fluss-Tiefen-Diagrammen für die Bildkoordinatenrichtungenu und v überdem Bild jeweils eine Ebene. Kennt man die Kalibrierung des Kamerasystems,so lassen sich aufgrund dieser Berechnungen sehr leicht eigenbewegteObjekte im Bild bestimmen. Dies ist die übliche Anwendung des Verfahrensgemäß dem Standder Technik.
    [0017] Indem vorliegenden erfindungsgemäßen Verfahrenwerden jedoch wie aus der Figur ersichtlich der optische Fluss Fu, Fv in einem ModulM1 und die Disparität D in einem Modul M2 auf Basis aktueller Kameraparameter P vonBildern Bild1, Bild2 eines bildgebendenSystems mit zwei Kameras ausgewertet.
    [0018] Anschließend werdenin einem weiteren Modul MK anhand der ErgebnisseFu, Fv, D der Module M1, M2 die neuen aktuellenKameraparameter P wiederum als Eingabe für das Modul M2 geliefert.Gleichzeitig erfolgt eine Online-Überwachung der Änderung ΔP der ParameterP im Vergleich zu einem voreingestellten Schwellenwert ε.
    [0019] Wieweiter aus der Figur ersichtlich kann das Modul M1 (durchgestrichelte Pfeile angedeutet) durch ein Modul MF einesFahrzeugs (nicht dargestellt) zur Verfügung gestellte fahrzeugspezifische Datenwie Geschwindigkeit V, Lenkwinkel, Winkelmessungen wie Gier-, Wank-und Nickwinkel ΦG, ΦW, ΦN in die Berechnung mit einbeziehen. Stehendarüberhinaus Systeme zur Abstandsmessung (z.B. Radar, Lidar) zur Verfügung, sokann eine Tiefe D von abgebildeten Objekten direkt gemessen undin die Berechnung des Moduls Mk einfließen.
    [0020] Ineinem Kraftfahrzeug lassen sich überden sogenannten CAN-Busdie Geschwindigkeit und der Lenkwinkel abgreifen. Über dieRaddrehzahlen oder zusätzlicheingebaute Gierratensensoren lässtsich die Eigenrotation bestimmen. Damit ist die Eigenbewegung derKameras sehr gut bekannt. Die Bilder werden in Video-Echtzeit, d.h.mit 25 Hz (40 ms Bildabstand) aufgezeichnet. In diesem Zeitraum ändert sichdie Fahrzeugumgebung nicht wesentlich. Daraus ergibt sich, dassdurch eine Optimierungsrechnung für einen längeren Zeitraum die Systemparameterberechnet werden können.Objekte mit einer signifikanten Eigenbewegung sind aufgrund eben diesernur füreinen begrenzten Zeitraum sichtbar und stellen in der Optimierunglediglich ein Rauschen in den Daten dar.
    权利要求:
    Claims (10)
    [1] Laufzeit-Kalibrierungsverfahren für ein bildgebendesSystem mit wenigstens zwei Kameras, wobei aktuelle Kameraparameterfortlaufend ermittelt werden, dadurch gekennzeichnet, dasszur fortlaufenden Ermittlung der aktuellen Kameraparameter (P) einoptischer Fluss (Fu, Fv)und eine Stereotiefenvermessung (D) der jeweiligen von den wenigstenszwei Kameras detektierten Bilder (Bild1,Bild2) gemeinsam ausgewertet werden.
    [2] Laufzeit-Kalibrierungsverfahren nach Anspruch 1,dadurch gekennzeichnet, dass – in einem ersten Schritt ineinem ersten Modul (M1) ein optischer Fluss(Fu, Fv) aus denBildern der Kameras berechnet wird, wobei in einem zweiten Modul (M2) eine Stereotiefenvermessung (D) der Bilder (Bild1, Bild2) der Kamerasauf Basis der aktuellen Kameraparameter (P) durchgeführt wird,wonach – ineinem zweiten Schritt in einem Kalibrierungsmodul (MK)aus den Ergebnissen (Fu, Fv,D) des ersten und des zweiten Moduls (M1,M2) die neuen aktuellen Kameraparameter(P) bestimmt und dem zweiten Modul (M2)zur Verfügunggestellt werden.
    [3] Laufzeit-Kalibrierungsverfahren nach Anspruch 1,dadurch gekennzeichnet, dass die wenigstens zwei Kameras in einemFahrzeug eingesetzt werden.
    [4] Laufzeit-Kalibrierungsverfahren nach Anspruch 3,dadurch gekennzeichnet, dass das zweite Modul (M2)zusätzlichals Hilfsparameter aktuelle fahrzeugspezifische Daten (V, ΦG, ΦW, ΦN) in die Berechnung mit einbezieht.
    [5] Laufzeit-Kalibrierungsverfahren nach Anspruch 4,dadurch gekennzeichnet, dass als aktuelle fahrzeugspezifische Dateneine Geschwindigkeit (V), ein aktueller Lenkwinkel, ein Gier- (ΦG), ein Wank- (ΦW)und/oder ein Nickwinkel (ΦN) verwendet werden.
    [6] Laufzeit-Kalibrierungsverfahren nach Anspruch 3,4 oder 5, dadurch gekennzeichnet, dass das Kalibrierungsmodul (MK) zusätzlichals Hilfsparameter aktuelle Abstandsmessungsdaten (D) des Fahrzeugsin die Berechnung mit einbezieht.
    [7] Laufzeit-Kalibrierungsverfahren nach Anspruch 1,dadurch gekennzeichnet, dass innere und äußere Kameraparameter (P) ermitteltwerden.
    [8] Laufzeit-Kalibrierungsverfahren nach Anspruch 7,dadurch gekennzeichnet, dass als innere Kameraparameter eine Fokallänge derKamera, ein Durchstoßpunktder optischen Achse durch die Bildebene, Größen von Sensorelementen derKameras und Koeffizienten von Verzeichnungen von Linsen der Kamerasverwendet werden.
    [9] Laufzeit-Kalibrierungsverfahren nach Anspruch 7,dadurch gekennzeichnet, dass als äußere Kameraparameter eine relativePosition und eine Ausrichtung der Kameras zueinander verwendet werden.
    [10] Fahrzeug mit einem bildgebenden System mit wenigstenszwei Kameras, welche mit einem Verfahren gemäß einem der Ansprüche 1 bis9 zur Laufzeit kalibriert werden.
    类似技术:
    公开号 | 公开日 | 专利标题
    US10026239B2|2018-07-17|Apparatus and method for failure diagnosis and calibration of sensors for advanced driver assistance systems
    CN107003110B|2020-09-15|图像处理装置和图像处理方法
    US20190208182A1|2019-07-04|Calibration method and measurement tool
    US9738223B2|2017-08-22|Dynamic guideline overlay with image cropping
    US10509983B2|2019-12-17|Operating device, operating system, operating method, and program therefor
    US20170169612A1|2017-06-15|Augmented reality alignment system and method
    US9208396B2|2015-12-08|Image processing method and device, and program
    EP2584309B1|2018-01-10|Bildaufnahmevorrichtung und bildaufnahmeverfahren
    US9338438B2|2016-05-10|Calibrating range-finding system using parallax from two different viewpoints and vehicle mounting the range-finding system
    US10341633B2|2019-07-02|Systems and methods for correcting erroneous depth information
    CN101825431B|2014-12-24|用于三维传感的参考图像技术
    RU2591018C2|2016-07-10|Способ калибровки инерционного датчика, установленного в произвольной позиции на борту транспортного средства, и система датчиков динамических параметров транспортного средства, выполненная с возможностью установки на борту в произвольной позиции
    US8494225B2|2013-07-23|Navigation method and aparatus
    CN102915532B|2017-06-30|确定车辆视觉系统外部参数的方法以及车辆视觉系统
    AU2016327918B2|2019-01-17|Unmanned aerial vehicle depth image acquisition method, device and unmanned aerial vehicle
    JP2015060053A|2015-03-30|固体撮像装置、制御装置及び制御プログラム
    JP3261115B2|2002-02-25|ステレオ画像処理装置
    EP2660625B1|2015-04-01|Verfahren zur Überwachung eines Verkehrsstrom und eine Verkehrsüberwachungsvorrichtung
    US20130135474A1|2013-05-30|Automotive Camera System and Its Calibration Method and Calibration Program
    KR100927096B1|2009-11-13|기준 좌표상의 시각적 이미지를 이용한 객체 위치 측정방법
    US20130236107A1|2013-09-12|Moving image processing device, moving image processing method, and recording medium having moving image processing program
    KR101070591B1|2011-10-06|Distance measuring device with dual stereo camera
    KR101265012B1|2013-05-24|차량 탑재 카메라의 교정 장치, 방법 및 프로그램
    CN102119317B|2013-09-18|多摄像机系统以及用于所述多摄像机系统的校准的方法
    WO2015123774A1|2015-08-27|System and method for augmented reality and virtual reality applications
    同族专利:
    公开号 | 公开日
    DE102004001572B4|2008-11-13|
    引用文献:
    公开号 | 申请日 | 公开日 | 申请人 | 专利标题
    法律状态:
    2005-08-04| OM8| Search report available as to paragraph 43 lit. 1 sentence 1 patent law|
    2006-06-08| 8110| Request for examination paragraph 44|
    2007-05-03| 8127| New person/name/address of the applicant|Owner name: DAIMLERCHRYSLER AG, 70327 STUTTGART, DE |
    2008-01-17| 8127| New person/name/address of the applicant|Owner name: DAIMLER AG, 70327 STUTTGART, DE |
    2008-12-18| 8320| Willingness to grant licences declared (paragraph 23)|
    2009-05-14| 8364| No opposition during term of opposition|
    2010-11-18| 8339| Ceased/non-payment of the annual fee|
    优先权:
    申请号 | 申请日 | 专利标题
    DE102004001572A|DE102004001572B4|2004-01-12|2004-01-12|Laufzeit-Kalibrierungsverfahren|DE102004001572A| DE102004001572B4|2004-01-12|2004-01-12|Laufzeit-Kalibrierungsverfahren|
    [返回顶部]